EdgeWise: Bringing Long-Horizon Agents to the Edge via Selective Cloud Delegation
EdgeWise：通过选择性云委托将长程智能体带到边缘
🧭 边缘-云端 Agent 协作与选择性模型路由 ★ 深度解读
NVIDIA · Rutgers University
提出EdgeWise框架，让本地SLM作为主求解器，仅在关键步骤选择性委托云LLM，显著降低成本且保持性能
📌 工作参考价值（4 点）
- 在电商/广告等长链路 Agent 工作流（选品、文案生成、数据分析）中，识别关键决策步骤（类似 Write/Edit）并仅对这部分调用大模型，其余用轻量模型处理，可显著降低大模型 API 成本。
- 借鉴 self-delegation 的 RL 训练方式：用轨迹级奖励 + 步骤级 credit assignment，让 SLM 自主学习何时调用大模型，无需额外路由模型；可以用一个轻量 critic 模型提供细粒度优势信号。
- 跨模型协作时，上下文传递不要盲目压缩：全量历史性能最好但成本高，可尝试去掉轻量模型的内部推理只保留执行历史，在性能和成本间取得折中。
- 将路由判断改为连续分数 + 阈值控制，可以灵活调整大模型调用频率，适合业务中根据预算动态平衡成本与效果。